1 感知机模型

1. ${\displaystyle \omega x+b}$ 相当于一个超平面，将空间上的点切分为两部分. 感知机模型的任务就是，如果理论上存在一个切分点的超平面，则找到它, 将点正确分到正例与负例.
2. 这里将两个尺寸相同的列向量相乘默认为逐元素相乘，得到的值为实数.

2 感知机学习策略

2.1 数据集的线性可分性

2.2 感知机学习策略

选取误分类点到超平面的总距离作为损失函数(因为这关于参数是可导的). 首先给出点到超平面的距离公式: $$d=\frac{|\omega x_0+b|}{||\omega ||}=\frac{-y_i(\omega x_i+b)}{||\omega ||},$$ 这里使用了 ${\displaystyle y_i}$ 的特性: 在误分类点中，${\displaystyle \omega x_i+b}$ 与 ${\displaystyle y_i}$ 的符号始终相反. 因此，如果记误分类点的集合为 ${\displaystyle M}$, 将上述距离相加，推导出损失函数为 $$\begin{array}{}\text{(2.1)}& L(\omega ,b)=-\sum _{x_i\in M}{y}_i(\omega x_i+b).\end{array}$$

注意到这个表达式里去掉了 ${\displaystyle 1/||\omega ||}$ 系数，这是因为在线性可分的假设下，我们的目标是让 ${\displaystyle L}$ 严格等于 ${\displaystyle 0}$, 因此去掉这项系数不会影响最后的目标，但可以简化求导计算.

3 感知机学习算法

3.1 感知机学习算法的原始形式

感知机算法需要优化以下问题$$\underset{\omega ,b}{min}L(\omega ,b)=-\sum _{x_i\in M}{y}_i(\omega x_i+b).$$
采用随机梯度下降( #SGD )方法迭代优化. 注意到损失函数是关于 ${\displaystyle \omega ,b}$ 的线性函数，因此 $$\begin{array}{rl}{\mathrm{\nabla }}_{\omega }L(\omega ,b)& =-\sum _{x_i\in M}{y}_i{x}_i,\\ {\mathrm{\nabla }}_{b}L(\omega ,b)& =-\sum _{x_i\in M}{y}_i.\end{array}$$然后给出具体算法.

3.2 原始形式的收敛性

3.3 感知机学习算法的对偶形式

在原始算法中，通过梯度下降不断对 ${\displaystyle \omega }$ 赋予了 ${\displaystyle y_i{x}_i}$ 项, 对 ${\displaystyle b}$ 不断赋予了 ${\displaystyle y_i}$ 项，因此 ${\displaystyle \omega ,b}$ 有表示形式 $$\omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i,b=\sum _{i=1}^N{\alpha }_i{y}_i,({\alpha }_i\ge 0).$$

记 ${\displaystyle n_i(1\le i\le N)}$ 为模型在全部的训练过程中为 ${\displaystyle x_i}$ 更新的次数，则 ${\displaystyle {\alpha }_i=n_i\eta }$. 事实上，更新次数越多的点离超平面越近，也就越难正确分类.

在对偶算法中，我们不改变 ${\displaystyle b}$ 的训练方式，但是要改变 ${\displaystyle \omega }$.

我们用 Gram 矩阵 $$G=[x_i{x}_j{]}_{N\times N}$$
来存储计算结果.